Linear Projection Model

Abstract

由于 CEF 的函数形式本质上是未知的，线性CEF模型实际上使用了很强的假设（上帝视角），且没有给出参数估计量。为了假设更为稳健，改为无论真实的 CEF 是什么，都进行线性拟合（符合实践）并给出参数估计量，为了使得参数估计量存在添加了一些技术性假设。

Setup

Linear CEF Model 设定如下：

\begin{matrix} (1) & e_{p} \equiv Y - X^{T} β_{p} \end{matrix}

其中， $β_{p}$ 定义为

β_{p} \equiv \underset{b \in R^{k}}{\arg min} E [(Y - X^{T} b)^{2}]

为了保证 $β_{p}$ 有解，假设 $Y$ 和 $X$ 具有有限的期望、方差和协方差：

\begin{matrix} (2) & {\begin{cases} E (Y^{2}) < \infty \\ E (∥ X ∥^{2}) < \infty \\ E (X X^{T}) is positive definite. \end{cases} \end{matrix}

根据 $β_{p}$ 的定义，设 $S (b) \equiv E [(Y - X^{T} b)^{2}]$ ，展开为

S (b) = E [(Y^{T} - b^{T} X) (Y - X^{T} b)] = E [Y^{2}] - 2 b^{T} E [X Y] + b^{T} E [X X^{T}] b

F.O.C（根据矩阵求导）

\frac{\partial S (b)}{\partial b} = - 2 E [X Y] + 2 E [X X^{T}] b = 0 ⟹ β_{p} \equiv E (X X^{T})^{- 1} E (X Y)

Note

值得注意的是，根据期望迭代法则有

β_{p} = E (X X^{T})^{- 1} E (X E [Y ∣ X])

因此 $Y$ 对 $X$ 的投影参数和 $E [Y ∣ X]$ 对 $X$ 的投影参数是一致的。

\begin{aligned} (1) & E [X e_{p}] & = 0 \\ (2) & E [e_{p}] & = 0 \\ (3) & C o v [X_{j}, e_{p}] & = 0 j = 1, \dots, k \end{aligned}

Proof

\begin{matrix} (1) & \begin{aligned} E [X e_{p}] & = E [X (Y - X^{T} β)] \\ = E [X Y] - E [X X^{T}] β \\ = E [X Y] - E [X X^{T}] E [X X^{T}]^{- 1} E [X Y] \\ = 0 \end{aligned} \end{matrix}

Important

$(2)$ 和 $(3)$ 的证明都要求 $X$ 包含常数项。

$(1)$ 表明 $E [(X_{1} e_{p}, \dots, X_{k} e_{p})^{T}] = 0$ ，若 $X$ 包含常数项，则对应的分量有

\begin{matrix} (2) & E [e_{p}] = 0 \end{matrix}

根据 $(1)$ 和 $(2)$ 可知

\begin{matrix} (3) & C o v [X_{j}, e_{p}] = E [X_{j} e_{p}] - E [X_{j}] E [e_{p}] = 0 \end{matrix}

Theorem

β_{p} = \underset{b \in R^{k}}{\arg min} E {(E [Y ∣ X] - X^{T} b)^{2}}

Proof
According to the definition of $β$

\begin{aligned} E [(Y - X^{T} b)^{2}] & = E [(Y - E [Y ∣ X] + E [Y ∣ X] - X^{T} b)^{2}] \\ = E [(Y - E [Y ∣ X])^{2}] + E [(E [Y ∣ X] - X^{T} b)^{2}] + \\ + 2 E [(Y - E [Y ∣ X]) (E [Y ∣ X] - X^{T} b)] \end{aligned}

first term

E [(Y - E [Y ∣ X])^{2}] = E [e^{2}] \geq 0

last term (with $E (h (X) e) = 0$ )

2 E {(Y - E [Y ∣ X]) (E [Y ∣ X] - X^{T} b)} = 2 E {e (E [Y ∣ X] - X^{T} b)} = 0

因此， $β_{p}$ 的定义等价于对第二项求解最小值，命题得证。

Summary

虽然简单的线性投影对 $Y$ 的预测效果十分糟糕，但计量经济学更关心 $E [Y ∣ X]$ 的变化规律。在 $X$ 为离散变量且模型饱和时（包含所有交互项），线性投影甚至能完全拟合条件期望函数 $E [Y ∣ X]$ ，因此线性投影仍是一个实用的技术。